# -------------------------------------------------------------------------------------     PySpark的介绍及创建对象
"""
Spark：用于对海量数据进行大规模分布式计算
PySpark：是Spark的Python实现，为Python开发者提供的编程入口，用于以Python代码完成Spark任务的开发
执行环境入口：类SparkContext的类对象

"""
# 导包
from pyspark import SparkConf,SparkContext

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
"""
等同于：
conf =SparkConf()
conf.setMaster("local[*])
conf.setAppName("test_spark_app")
"""

# 创建SparkContext（基于SParkConf类对象）
sc = SparkContext(conf=conf)

# 打印PySpark的运行版本
print(sc.version)

# 停止SparkContext对象的运行（停止PySpark程序）
sc.stop()

# ---------------------------------------------------------------------------------  PySpark的编程模型
"""
SparkContext类对象：是PySpark编程中一切功能的入口
PySpark编程的三个步骤：
        数据输入：    通过SparkContext类对象的成员方法，完成数据（json文件、文本文件、数据库数据等）的读取操作，读取后自动获得RDD类对象
        数据处理计算： 通过RDD类对象的成员方法（求和，最大最小值，分组统计等），完成各种数据计算的需求
        数据输出：    将处理完成后的RDD对象，调用各种成员方法完成写出文件、转换为（list、tuple、dict、文本文件、json文件、数据库）等操作
"""










